package com.atbeijing.bigdata.spark.core.rdd.operator.transform

import org.apache.spark.rdd.RDD
import org.apache.spark.{SparkConf, SparkContext}

object Spark02_Oper_Transform_2 {

    def main(args: Array[String]): Unit = {

        val conf = new SparkConf().setMaster("local[*]").setAppName("TransformOperator")
        val sc = new SparkContext(conf)

        // TODO 算子 - 转换
        // TODO 获取每个数据分区的最大值

        val rdd : RDD[Int] = sc.makeRDD(List(1,3,2,5), 2)

        // 【1，2】，【3，4】
        // 【2】，【4】
        val rdd1 = rdd.mapPartitions(
            list => {
                List(list.max).iterator
            }
        )

        rdd1.collect().foreach(println)

        sc.stop()

    }
}
